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@ Anordnung und Verf ahren zur automatischen Auswahl zweler Kamerasignale aus einer Vielzahi von 
Kameraaignale durch Bastimmung der Kopfposition einea Betrachters 

@ Durch erne Kopfverfolgungseinheit (KVE) wird eine Kopf- 
position (Pj) eines Botrachters (B) bestimmt, und es werdon 
zwei Kamerasignale (tO; Ki + x) ausgewahtt und von einer 
Sende«nh8tt (SE) angefordert. Durch oine Schaltareinheit 
(S) werden die angeforderten Kameras (Kat; ICai+x) an eine 
steraoskopische Codiereinhett (SC) durohgeschaltet und 
dort zu einem codierten Videodatenstrom (CV) codiert. 
Dieser codiarte Videodatenstrom (CV) wird an eine Empfan- 
gereinhait (EE) Gbertragen, dort decodiart und auf einem 
steraoskoplschen Bildschirm (DIS) dem Betrachter darga- 
stellt. 

Damit wird eine sehr einfache automatisierta Auswahl von 
zwai bandtfgten Kamerasignalen (Ki; Ki+x) aus einer Viel- 
zahi von Kanierasignalen (Ki) errelcht. 
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Bei der Obertragung von sogenannten Multiview- 
Stereobildsequenzen. bei denen mehr als zwei Kameras 
eine Szene auf nehmen. cxisticrcn mehrere Problcme bei 
der Obertragung der Kamerasignale, die die aufgenom- 
mene Szene beschreiben. Bei den Multiview-Stereobild- 
sequenzen benotigt der Empfanger zwei Kamerasigna- 
le die dieselbe Szene aus verschiedenen Ansichten be- 
schreiben. Durch die bestehende Disparitat der Bilder 
der aufgenommenen Kamerasignale, das heifit durch die 
ordiche Verschiebung der entsprechenden Bildpunkte 
zwischen den Bildern der zwei Kamerasignale. die bei 
einem Empfanger auf einem stereoskopischen Bild- 
schirm dargestellt werden, wird fur den Betrachter ein 
Tiefeneffekt erzielt. das heiBt. der Betrachter hat den 
Eindnick, ein dreidimensionales Bild zu betrachten. 

Wenn eine Szene von mehreren Kameras aufgenom- 
men wird, und alle Kamerasignale von alien Kameras an 
den Empfanger ubertragen wurden und die Auswahl 
der zwei benotigten Kamerasignale beim Empfanger 
stattfande. wiirde eine sehr groBe Menge an Ubertra- 
gungskapazitat benotigt, die unnotig viel Redundanz 
beinhalten wurde. 

Da in der Empfangereinheit nur zwei, allerdings die 
fur den Betrachter "richtigen" Kamerasignale benotigt 
werden ist es wunschenswert. wirklich nur die benotig- 
ten zwei Kamerasignale zu ubertragen, Weiterhin ist es 
wunschenswert, die Ansichten der Szene variieren zu 
kdnnen, ohne dafur groQeren Aufwand treiben zu mOs- 
sen. . 

Im ubrigen ist es aus der EP 0650301 A2 bekannt, bei 
der stereoskopischen Bildaufnahme mehr als zwei Ka- 
meras einzusetzen. Des weiteren betrifft die 
DE 40 27 471 C2 eine von der sensorisch erfaBten Posi- 
tion des Betrachters abhangige raumliche Darstellung 
von Bildern, 

Somit liegt der Erfindung das Problem zugrunde, erne 
Anordnung und ein Verf ahren anzugeben, mit dem auf 
einfache Weise zwei Kamerasignale aus einer Vielzahl 
von n Kameras erzeugten Kamerasignalen, die eine 
Szene aus verschiedenen Ansichten aufnehmen, auto- 
matisch von einem Betrachter der Szene. der sich beim 
Empfanger befindet, ausgewahlt werden. 

Dieses Problem wird durch die Anordnung gemaB 
Patentanspruch 1 tmd dem Verfahren gemaB Patentan- 
spruch 3 geldsL 

Ein Vorteil der erfmdungsgemaBen Anordnung hegt 
vor allem darin, daB die Anordnung sehr einfach ist und 
somit nur geringfugige Erweiterungen gegenuber An- 
ordnungen notwendig sind, die ohnehin benotigt wer- 
den, um einen stereoskopischen Videodatensirom auf 
Basis zweier fest angeschlossener Kameras. <Me eine 
Szene aufnehmen, zu realisieren. 

Auch ist das erfindungsgemaBe Verfahren durch sei- 
ne Einfachheit gepragt, was zu einer sehr schnellen 
Durchf uhnmg des Verfahrens f uhrt. wodurch eine Edit- 
zeitrealisieningdes Verfahrens moglich ist. ohne storen- 
de Verzogerungseffekte fur den Betrachter bei der Aus- 
wahl einer anderen Ansicht einer betrachtcten Szene. 

Die Verwendung des Verfahrens gemaB Patentan- 
spruch 4 als eine Ausnahmebehandlung in einem Fehler- 
fall. also als eine sogenarmte Fallback-Losung, bei der 
Verwendung von modellbasiertcn Codierungsverfahren 
zur Codierung eines Videodatenstroms, erhohl die Ver- 
laBlichkeit der modeUbasierten Codierungsverfahren 
erheblich. , 

Weiterbildungen der Erfmdung ergaben sich aus den 
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abhangigen AnsprUchen. r- ^ 

Ein bevorzugtes Ausfahrungsbeispiel der Erfindung 

und eine vorteilhafte Verwendung des erFindungsgema- 

Ben Verfahrens sind in den Zeichnungen dargestellt und 

werden im folgenden naher beschrieben. 
Es zeigen 

Fig, 1 eine Skizze, die die Anordnung mit einer Emp- 
fangereinheit und einer Sendeeinheit und der Vielzahl 
von Kameras, die anhand der Kopfposition des Betrach- 
ters ausgewahlt werden, darstellt; 

Fig. 2 ein Ablaufdiagramm, das das erfindungsgema- 
Be Verfahren gemaB Patentanspruch 3 beschreibt; 

Fig. 3 ein Ablaufdiagramm. das die Verwendung des 
erfmdimgsgemaBen Verfahrens als Fallback-Losung bei 
einer modeUbasierten Codierung darstellt 

Anhand der Fig. I bis 3 wird die erfindungsgemaBe 
Anordnung. das erfmdungsgemaBe Verfahren sowie ei- 
ne Verwendung des erfmdungsgemaBen Verfahrens 
weiter erlautert. 

In Fig- 1 ist die erfindungsgemaBe Anordnung be- 
schrieben, die mindestens folgende Komp>onenten auf- 
weist: 

— eine Sendeeinheit SE, die mindestens folgende 
Komponenten aufweist: 

— eine Vielzahl von Kameras Kai, die eine 
Szene aus mehreren Ansichten. das heiBt von 
verschiedenen Perspektiven, aufnehmen; ein 
erster Index i, der jede Kamera eindeutig iden- 
tifraert. ist eine Zahl. die in dem Bereich zw- 
schen 1 und n liegt, wobei die Werte 1 und n in 
dem Bereich enthalten sind; 

— eine Schaltereinheit S, mit n Eingangen, wo- 
bei jeweils ein Eingang der Schaltereinheit S 
mit einer Kamera Kai gekoppelt ist, und zwei 
Ausgangenv 

— eine stereoskopische Codiereinheit SO zur 
Codierung eines zu sendenden codierten Vi- 
deodatenstroms CV; 

— eine Empfjtogereinheit EE, die mindestens fol- 
gende Komponenten aufweist: 

— eine stereoskopische Decodiereinheit SD, 
in der cKe Decodierung des empfangenen co- 
dierten Videodatenstromes CV durchgeftthrt 
wird; 

— eine Kopfverfolgungsemhdt KVE, in der 
die Kopfposition Pj eines Betrachters B be- 
stimmt wird, in der aus den bestimmten Koor- 
dinaten der Kopfposition die benotigten zwei 
Ansichten, das heiBt zwei benStigte Kamerasi- 
gnale Ki, wobei der erste Index i auch das Ka- 
merasignal, das von der i-ten Kamera Kai zur 
Verfugung gestellt wird, bezeichnet, ausge- 
wahlt werden; ein zweiter Index j, der jede 
Kopfposition Pj des Betrachters B eindeutig 
identifiziert, ist eine Zahl, die in dem Bereich 
zwischen 1 und n-1 liegt. wobei die Werte I 
und n-1 in dem Bereich enthalten sind, 
— ein stereoskopischer Bildschhin DIS, der 
einen decodierten Videodatenstrom DCV dem 
Betrachter B in der Weise darstellt, daB fur den 
Betrachter B ein stereoskopischer Effekt, das 
heiBt ein Tiefeneindruck bei Betrachtung des 
Bildes,entsteht. 
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Die Kameras Kai nehmen cine Szene SZ auf. Die 
Kameras Kai sind in bettebiger Weise angeordnet. 
Dies ist eine Voraussetzung dafur. daB bei einer beUe- 
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bigen Auswahl zweier Kameras Kai und K.ai + x. wobei 
eine Zahl x eine in dem Bereich 1 bis n— 1 Hegt, ein 
stereoskopischer Effekt fur den Betrachter B erreicht 
werden kann. 

Die Sendeeinheit SE weist raindestens die n Kameras 
Kai, die SchaJtereinheit S und die stereoskopische Co- 
diereinheit SC auf. 

Die Schaltcrcinheit S ist mit den zwei Ausgangen mit 
der stereoskopischen Codiereinheit SC gekoppelL Der 
Aufbau einer stereoskopischen Codiereinheit SC ist 
dem Fachmann bekannt und beispielsweise in (R. ter 
Horst, A Demonstrator for Coding and Transmission of 
Stereoscopic Video Signals. Proceedings of 4-th Euro- 
pean Workshop on Three-Dimensional Television, 
Rom, 20.-21. Oktober 1993, S, 273—280, 1993) be- 
schrieben. 

Der zu sendende, in der stereoskopischen Codierein- 
heit SC codierte Videodatenstrom CV wird an die Emp- 
fangereinheit EE ubertragen. Jeder der n Eingange der 
Schaltereinheit S sind mit jeweils einer Kamera Kai 
gekoppelt 

Entsprechend einer Kameraanforderungsnachiicht 
KAN, die im weiteren beschrieben wird, werden in der 
Schaltereinheit S die durch die Kameraanforderungs- 
nachricht KAN angeforderten Kameras Kai und Kai + 1 
ausgewahlt. so daB jeweils die angeforderten Kamerasi- 
gnale Ki und Kl + 1 der Kameras Kai und Kai -hi co- 
diert und ubertragen werden- 

Somit werden immer nur die angeforderten Kamera- 
signale ausgewahlt imd an die stereoskopische Codie- 
reinheit SC durchgeschaltct 3, wo sie zu dem codierten 
Videodatenstrom CV codiert werden 4 und ubertragen 
werden an die Empftagereinheit EE. 

In der Empfangereinheit EE wird der codierte \fldeo- 
datenstrom CV empfangen und decodiert 5. Anschlie- 
Bend wird der decodierte Videodatenstrom auf dem ste- 
reoskopischen Bildscfairm DIS dem Betrachter B darge- 
stellt. 

Die Empfangereinheit EE weist mindestens die ste- 
reoskopische Decodiereinheit SD. die Kopf verfolgungs- 
einheit KVE sowie den stereoskopischen BUdschirm 
DIS auf 6. 

Die stereoskopische Decodiereinheit SD ist mit dem 
stereoskopischen Bildscliinn DIS gekoppelt In der 
Kopfverfolgungscinheit KVE wird die Kopfp»osition des 
Betrachters B bestinmit, indem mit einer weiteren Ka- 
mera der Kopf des Betrachters B aufgenommen wird. 
erkamit wird und die raumliche Lage des Kopfes des 
Betrachters B, also die Kopfposition Pj des Betrachters 
B bestimmt wird 

Anhand der Kopfposition Pj, wobei der zweite Index j 
in dem Bereich zwischen 1 und n— 1 liegt, werden die 
der Kopfposition Pj zugeordneten Kamerasignale Ki 
und Ki + 1 auswahlt und von der Kopfverfolgungsein- 
heit KVE angefordert 

In der Kopfverfolgungscinheit KVE wird die Kopfpo- 
sition Pj des Betrachters B bestimmt 1 und die horizon- 
talen Bewegungen des Betrachters B im Vergleich zum 
Bildschirm verfolgt. Hierzu wird mindestens eine Kame- 
ra verwendet, die den Kopf des Betrachters B auf nimmt. 
Die Kopfverfolgungscinheit KVE arbeitet beispielswei- 
se nach eincm Verfahren, das in der Patentanmeldung 
mit dem amtlichen Aktenzeichen 19516664J beschrie- 
ben ist. 

Bei dem don beschriebenen Verfahren wrd die 
raumliche Lage fiir ein aufgenonunenes Zielobjekt, das 
wahrend des dort beschriebenen Verfahrens klassifi- 
ziert wird. bestimmt Dieses Verfahren wird bei dem 
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erfindungsgemSBen Verfahren dazu verwendet, dafi der 
Kopf eines Betrachters B erkannt wird und die Bewe- 
gungen des Kopfes verfolgt werden. Somit ermittelt das 
in der Patentanmeldung 19516664.7 beschriebene Ver- 
5 fahren die raumliche Lage des Kopfes des Betrachters B 
des stereoskopischen Bildschirms DIS. 

Verwendet wird in dem erfindungsgemaBen Verfah- 
ren jedoch nur die die horizontalen Bewegungen be- 
schreibende Koordinate. Die beiden anderen Raumko- 
10 ordinaten sind fur das erfmdungsgemaBe Verfahren 
nicht von Interesse und werden aus diesem Grunde 
nicht benotigt 

In Fig. 2 ist das Verfahren zur Auswahl der zwei be- 
nOtigten Kamerasignale Ki und Ki + 1 beschrieben. 
15 Zuerst werden die beiden zulassigen Extremposiuo- 
nen fur die Kopfposition Pj des Betrachters B, also die 
Kopfposition PI und die Kopfposition Pn— 1 deHmert 

Im Fall einer gewunschten naturgetreuen Obertra- 
gung, ist es vorteilhaft, die Kameras Kai Equidistant im 
20 Augenabstand aufzusteUen, das heiBt in diesem Fall wa- 
re die Entfernung zwischen der Kopfposition PI und der 
Kopfposition Pn — 1 die gleiche, wieder Kameraabstand 
zwischen Kamera Kai und der Kamera Kan— 1. Es wer- 
den dann in Abhangigkeit der Posidon des Betrachters 
25 B die notigen Kamerasignale ausgew^t und ubertra- 
gen. 

Wenn der Kopf des Betrachters sich in der Kopfposi- 
tion PI, also bei der in Fig, 1 beschriebenen Anordnung 
ganz links, oder sogar links davon befindet, werden von 
30 der Kopfverfolgungscinheit KVE die beiden Kamerasi- 
gnale KI tmd K2, also die Kamerasignale, die von den 
beiden links stehenden Kameras Kai imd Ka2 erzeug- 
ten Kamerasignale. ausgewahlt 2 und von der Kopfver- 
folgungseinheit KVE angefordert 
35 Es ist ebenso vorgesehen, daB nicht die Kamerasigna- 
le KI und K2 ausgewahlt werden, sondem es konnen 
auch beispielsweise die ganz links positionierte Kamera 
Kai und eine weitere Kamera Kai H-x und die von die- 
sen Kameras erzeugten Kamerasignale KI und KI 4-x 
40 ausgewahlt werden. Die Auswahl der Kameras ist im- 
mer abhangig von dem Aufbau des stereoskopischen 
Bildschirms DIS. 

Wenn sich der Kopf des Betrachters B auf der Kopf- 
position Pn— 1 Oder rechts davon befindet. ordnet die 
45 Kopfverfolgtmgscmheit KVE der Kopfposition Pn— 1 
die Kamerasignale Kn— I und Kn zu, imd fordert diese 
Kamerasignale von der Sendeeinheit SE an. 

Es ist ebenso vorgesehen, daB nicht die Kamerasigna- 
le Kn— 1 und Kn ausgewahlt werden, sondem es kon- 
50 nen auch beispielsweise die ganz links positionierte Ka- 
mera Kai und eine weitere Kamera Kai + x und die von 
diesen Kameras erzeugten Kamerasignale Kn und 
Kn— X ausgew^t werden. Die Auswahl der Kameras 
ist auch in diesem Fall immer abhangig von dem Aufbau 
55 des Stereoskopischen Bildschirms DIS- 

Wenn sich der Kopf des Betrachters B zwischen den 
diskreten Kopfpositionen Pj befindet^ wird jeweils die 
Kopfposition Pj des Betrachters B zugewiesen, die der 
tatsachlichen Kopfposition des Betrachters B am nach- 
60 sten liegt 

Allgemein wird also durch die Kopfverfolgungseui- 
heit KVE fur eine Kopfposition Pj des Betrachters das 
Kamerasignal Ki als Unices Biid und das Kamerasignal 
Ki-}-x als rechtes Bild angeboten. 
65 Es ist wichtig, die n— 1 Kopfpositionen Pj des Be- 
trachters B in AbhS.ngigkeit des Kameraaufbaus zu defi- 
nieren. Dies erfolgt in Abhangigkeit von dem Aufbau 
des stereoskopischen Bildschirms DIS und von den be- 
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absichtigten Effekten fur den Betrachter B. 

Dies bedeutet, dafi von der Kopfverfolgungseinheit 
ICVE zwei neue Kamerasignale angefordert werden. 
Urn den stereoskopischen Effekt. das heiBt den Tiefen- 
eindnick fur den Betrachter B zu verbessem bzw. zu 5 
Qbertreiben, ist es auch moglich, den Abstand der Ka- 
meras zu vergroBern. 

Wenn der stereoskopische Effekt verringert werden 
soil, kann selbstverstandlich auch der Abstand der Ka- 
meras verringert werden. to 

Nachdem die Kopf position von der Kopfverfolgungs- 
einheh KVE wie im vorigen beschricben wurde, be- 
stimmt ist 1. wahlt die Kopfverfolgungseinheit KVE die 
benotigten zwei Ansichten. also die benotigten Kamera- 
signale Ki und Ki+x aus 2 und fordert diese von der 15 
Sendeeinheit SE an. 

Dies geschieht in Form einer Kameraanforderungs- 
nachricht KAN, die von der Empfangereinheit EE an die 
Sendeeinheit SE Obertragen wird. 

Nachdem die Sendeeinheit SE die Kameraanforde- 20 
rimgsnachricht FAN empfangen hat, schaltet die Schai- 
tereinheit S in der Weise, daB die beiden EingSnge der 
Schaltereinheit S an die angcforderten Kameras Kai 
und Kai + x gckoppelt werden. so daB die angcforderten 
Kamerasignale Ki und Ki + x an die stereoskopische 25 
Codiereinheii SC durchgcschaltct werden 3, 

In der stereoskopischen Codiereinheit SC werden die 
diuxjhgeschalteten Kamerasignale Ki und Ki+x zu ei- 
nem zu sendenden codicrtcn Videodatenstrom CV co- 
diert4. 30 

Dieser codicrtc Videodatenstrom CV wird nun an die 
Empfangereinheit EE Ubcrtragcn. 

Der empfangenc codicrtc Videodatenstrom CV wird 
in der Empfangereinheit EE in der stereoskopischen 
Decodiereinheit SD decodiert 5 und dem Betrachter B 35 
fiber den stereoskopischen Bildschirm DIS dargesteUt6. 

In Fig. 3 ist einc vortcilhafte Verwendung des erfin- 
dungsgemSlBen Verf ahrens dargestellt 

Ein Problem bei dem Einsatz eines modellbasierten 
Codierungsverfahrcns MC liegt in der Bchandlung einer 40 
auftretenden Fehlersituation 8 bei den Codienmgsver- 
fahren MC. das heiQi in einem Vorgehen, wenn das mo- 
dellbasierte Codierungsverfahren Fehler aufweist, das 
heiBt, wenn ein Bild von der modellbasierten Codierung 
MC faisch modelliert wurde. 45 

Im Rahmen dieser Anmeldung ist imter dem modell- 
basierten Codienmgsverfahren MC ein Verfahren zu 
verstehen, das die von den n Kameras aufgenonunene 
Szene SZ durch drei-dimensionale Modelle darstellt 
Dies ermoglicht eine weitere Datenreduktion der Bild- 50 
daten der aufgenommenen Szene SZ. 

In diesem Fall ist eine Ausnahmebehandlung notwen- 
dig. die solange eine korrekte Obertragimg des Video- 
datenstroms ermoglicht. bis wieder ein korrektes Mo- 
dell fur die Bilder des Videodatenstroms erzeugt, das 55 
heiBt berechnet wurde. Fur diese Ausnahmebehandlimg 
bietet sich das im vorigen beschriebene Verfahren an. 

Dies bedeutet, daB, wenn erkannt wird, daB ein Mo- 
dell fur einen Videodatenstrom CV mit schlechter Quali- 
tat, erstellt wurde, die modellbasierte Codierung MC eo 
des Videodatenstroms CV, die eine groBere Kompres- 
sion der Bilddatcn ermoglicht, unterbrochen wird iind 
das erfmdungsgemaBe Verfahren durchgefuhrt 10 wird, 
also daB die Szene jeweils von den zwei Kameras Kai 
imd Kai+ 1 aufgenommen wird, die durch die Kopfposi- es 
tion Pj des Betrachters B ausgewahlt werden. 

Wenn ein neues Modell, das die Bilddaten wieder kor- 
rekt beschreibt. erstellt wurde 9, kann wieder die mo- 



dellbasierte Codierung MC durchgefuhrt werden 7. 

Somit kann das erfmdungsgemaBe Verfahren im Zu- 
sammenhang mit der modellbasierten Codierung MC 
eines Videodatenstroms als Fallback- Losung der mo- 
dellbasierten Codierung MC verwendet werden. 



Patentanspriiche 

1. Anordnung zur automatischen Auswahl zweier 
Kameras, die zwei Kamerasignale erzeugen, die zu- 
sammen eine stereoskopische Bildfolge bilden, aus 
einer Vielzahl von von n Kameras (Kai; i = 1 . . . n) 
erzeugten Kamerasignalen (Ki; i = 1 , . . n), 

— bei der in einer Sendeeinheit (SE) die n 
Kameras (Kai). die mehrere Ansichten einer 
Szene aufnehmen und einer Schaltereinheit (S) 
zur Verfugung stellen. in beliebiger Weise an- 
geordnet sind, 

— bei der in der Sendeeinheit (SE) eine stereo- 
skopische Codiereinheit (SC) vorgesehen ist 
zur Codierung des zu sendenden codierten Vi- 
deodatenstromes (CV). 

— bei der in der Sendeeinheit (SE) die Schal- 
tereinheit (S) vorgesehen ist. wobei zwei Aus- 
gange der Schaltereinheit (S) mit der stereo- 
skopischen Codiereinheit (SC) gekoppelt sind 
und wobei n Eingange der Schaltereinheit (S) 
mit den n Kameras (Kai ... Kan) gekoppelt 
sind, die durch eine Kopfverfolgungseinheit 
(KVE) einer Empfangereinheit (EE) ausge- 
wahlte zwei Kamerasignale (Ki; Ki+x) zm^ 
Verfugung stellen, wobei die eine Zahl (x) eine 
beliebige Zahl im Bereich von 1 bis n ist, 

— bei der in der Empfangereinheit (EE) die 
Kopfverfolgungseinheit (KVE) vorgesehen ist 
zur Bestimmung der Kopfposition (Pj; j = 1 . . . 
n— 1), und zur Auswahl der der Kopfposition 
(Pj) zugeordneten zwei Kamerasignale (Ki; 
Ki+x). 

— bei der in der Empfangereinheit (EE) eine 
stereoskopische Decodiereinheit (SD) vorge- 
sehen ist zur Decodierung eines empfangenen 
codierten Videodatenstromes (CV), und 

— bei der in der Empfangereinheit (EE) ein mit 
einem Ausgang der stereoskopischen Deco- 
diereinheit (SD) gekoppclter stereoskopischer 
Bildschirm (DIS) vorgesehen ist. 

Z Anordnung nach Anspnich 1, bei der der Abstand 
der n Kameras (Kai) aquidistant ist 
3. Verfahren zur automatischen Auswahl zweier 
Kameras (Kai; Kai+xX die zwei Kamerasignale 
(KI; Ki+x) erzeugen, die zusammen eine stereo- 
skopische Bildfolge bilden, aus einer Vielzahl von 
von n Kameras (Kai; i = 1 . . . n) erzeugten Kamera- 
signalen (Ki; i = 1 . . . n), 

— bei dem in einer Empfangereinheit (EE) 
durch eine Kopfverfolgungseinheit (KVE) eine 
Kopfposition (Pj; j = 1 . . - n — 1) ernes Betrach- 
ters (B) bestinunt wird. 

— bei dem von der Kopfverfolgungseinheit 
(KVE) der Kopfposition (Pj) zugeordnete zwei 
von zwei Kameras (Kai; Kai + x) erzeugten 
Kamerasignale (Ki. Ki+1) ausgewahlt wer- 
den, wobei der Kopfposition (Pj) die zwei Ka- 
merasignale (Ki) imd (Ki+x) zugeordnet wer- 
den, wobei eine Zahl (x) eine beliebige Zahl im 
Bereich von 1 bis n ist, 

— bei dem die Empfangereinheit (EE) eine Ka- 
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meraanforderungsnachricht (KAN) an eine 
Sendeeinheit (SE) sendet, mit der die zwei be- 
notigten Kamerasignale (Ki; Ki + x) angefor- 
dert werden, 

— bci dem die Sendeeinheit (SE) die Kame- 5 
raanforderungsnachricht (KAN) empfangt 
und speichert, 

— bei dem in der Sendeeinheit (SE) durch eine 
Schaltereinheit (S) die durch die Kopfverfol- 
gungseinheit (KVE) ausgewahlien zwei Kame- 10 
rasignale (Ki; KJ+ J) an eine stereoskopische 
Codiereinheit(SC) durchgeschaltet werden. 

— bei dem in der Sendeeinheit (SE) in einer 
stereoskopischen Codiereinheit (SC) ein zu 
sendender codierter Videodatenstromes (CV) 15 
codiert wird, 

— bei dem der zu sendende codierte Videoda- 
tenstrom (CV) von der Sendeeinheit (SE) an 
die Empfangereinheit (EE) ubertragen wird, 

— bei dem der empfangene codierter Video- 20 
datenstrom (CV) in der Empfangereinheit (EE) 
gespeichert wird, und 

— bei dem in der Empfangereinheit (EE) der 
empfangene codierter Videodatenstrom (CV) 

in einer stereoskopischen Decodiereinheit 25 

(SD) decodiert wird. 
4. Verwendung des Verfahrens nach Anspnich 3 bei 
DurchfQhrung eines modellbasierten Codierungs- 
verfahrens (MC) zur Codierung des Videodaten- 
stromes (CV), wenn die modellbasierte Codierung 30 
(MC) ausfallt. solange bis die modellbasierte Codie- 
rung (MC) wieder eingesetzt werden kann. 
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(57). A head position (Pj) of a viewer (B) is determined by 
a head-following unit (KVE), and two camera signals (Ki; Ki 
+ x) are selected, and requested from a transmitter unit 
(SE), The requested cameras (Kai; Kai + x) are switched 
through to a stereoscopic encoding unit (SC) by a switching 
unit (S), where they are encoded into an encoded video data 
stream (CV) , This encoded video data stream (CV) is 
transmitted to a receiver unit (EE), where it is decoded 
and presented to the viewer (B) on a stereoscopic screen 
(DIS) . 

In this way, a very simple, automated selection of two 
necessary camera signals (Ki; Ki + x) out of multiple 
ccunera signals (Ki) is achieved. 
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Description 

During the transmission of so-called multiview stereo 
picture sequences, in which more than two cameras record a 
scene, several problems exist during the transmission of 
the camera signals that describe the recorded scene. With 
multiview stereo picture sequences, the receiver needs two 
camera signals that describe the same scene from different 
views. A depth effect is achieved for the viewer through 
the existence of a disparity between the pictures of the 
recorded camera signals, that is to say, through the local 
displacement of corresponding pixels between the pictures 
of the two camera signals, which are presented via a 
receiver on a stereoscopic screen. In other words, the 
viewer has the impression that he or she is observing a 
three-dimensional picture . 

If a scene is recorded by several cameras, all camera 
signals were transmitted by all cameras to the receiver, 
and the selection of the two necessary camera signals were 
to take place in the receiver, then an extremely large 
transmission capacity would be required, which would 
include much unnecessary redundancy. 

As only two camera signals are needed in the receiver 
unit (the two 'correct' ones for the viewer), it is 
desirable to actually transmit only the necessary two 
camera signals. Furthermore, it is desirable to be able to 
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vary the view of the scene without driving up the cost. 

The use of more than two cameras for stereoscopic 
picture recording is hitherto known from EP 0650301 A2 . 
Furthermore. DE 40 27 471 C2 concerns a spatial 
representation of pictures that depends on the detected 
position of the viewer. 

Therefore, the object of the invention is to solve the 
problem of specifying a configuration and a procedure by 
which two camera signals are chosen in a simple manner from 
camera signals produced by a plurality of n cameras which 
record a scene from different views, the signals being 
chosen automatically by a viewer of the scene, who is 
located at the receiver. 

This problem is solved by the configuration according 
to Claim 1. and the procedure according to Claim 3. 

One advantage of the configuration according to the 
present invention lies, above all, in the fact that the 
configuration is very simple and therefore only minor 
enhancements to configurations are necessary, which are in 
any case required in order to realize a stereoscopic video 
data stream on the basis of two connected cameras which 
record a scene. 

Also, the procedure according to the present invention 
is characterized by its simplicity, which leads to a very 
fast execution of the procedure, whereby it is possible to 
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implement the procedure in real time, without delay effects, 
which may be disturbing for the viewer, when selecting 
another view of an observed scene. 

The use of the procedure according to Claim 4 for 
exception handling in case of a mistake, and therefore as a 
so-called fallback solution, in the use of a model-based 
encoding procedure for the encoding of a video data stream, 
significantly increases the dependability of the model- 
based encoding procedure. 

Further refinements of the invention have resulted 
from the attached claims. 

A preferred embodiment of the invention and an 
advantageous application of the procedure according to the 
invention are presented in the drawings and are more 
closely described in the following. 
The following are shown: 

Fig. 1 is a diagram that shows the configuration of a 
receiver unit, a transmitter unit, and multiple cameras, 
which are selected based on the position of the viewer's 
head; 

Fig. 2 is a flow chart that describes the procedure 
according to the invention in accordance with Claim 3; and 

Fig. 3 is a flow chart that shows the use of the 
procedure according to the invention as a fallback solution 

in model-based encoding. 
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Based on Figs. 1 to 3. the configuration according to 
the invention, the procedure according to the invention, 
and an application of the procedure according to the 
invention are further illustrated. 

In Fig. 1, the configuration according to the 
invention is described, which features at least the 
following components: 

- a transmitter unit SE which features at least the 
following components : 

- a plurality of cameras Kai, which record a scene 
from several views, in other words from different 
perspectives; a first index, i. which unambiguously 
identifies each camera, is a number that lies in 
the range between 1 and n, the values 1 and n being 
contained in the range; 

- a switching unit S. with n inputs, wherein each 
input of switching unit S is connected to a 
separate camera Kai, and two outputs. 

- a stereoscopic encoding unit SC for encoding a 
video data stream CV to be transmitted; 

- a receiver unit EE which features at least the 
following components : 

- a stereoscopic decoder unit SD. in which the 
received encoded video data stream CV is decoded, 

- a head-following unit KVE, in which the head 
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position PJ of a viewer B is determined, and in 
which the necessary two views are selected from the 
determined coordinates of the head position, in 
other words, two necessary camera signals Ki are 
selected, wherein, as well as the first index i 
denoting the camera signal provided by the i-th 
camera, a second index j, which unambiguously 
identifies each head position Pj of the viewer B, 
is a number lying in the range between 1 and n - 1, 
the values 1 and n - 1 being contained in the 
range ; 

- a stereoscopic screen DIS, which presents a 
decoded video data stream DCV to the viewer B in 
such a way as to create a stereoscopic effect for 
the viewer B, that is to say, an impression of 
depth is formed as the picture is watched. 
The cameras Kai record a scene SZ. The cameras Kal 
are arranged in any desired manner. 

This is a prerequisite for the fact that in any 
desired selection of two cameras Kai and Kai + x, in which 
the number x lies in the range between 1 and n - 1, a 
stereoscopic effect can be achieved for the viewer B. 

The transmitter unit SE features at least the n 
cameras Kai, the switching unit S. and the stereoscopic 
encoding unit SC. 
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The switching unit S is connected by its two outputs 
to the stereoscopic encoding unit SC. The design of the 
stereoscopic encoding unit SC is well-known to one skilled 
in the art and is. for example, described in (R. ter Horst, 
A Demonstrator for Coding and Transmission of Stereoscopic 
Video Signals, Proceedings of 4th European Workshop on 
Three-dimensional Television, Rome, 20-21 October 1993, p. 
273-280, 1993). 

The video data stream which is to be transmitted, and 
which is encoded in the stereoscopic encoding unit SC, is 
transmitted to the receiver unit EE. Each of the inputs of 
the switching unit S is connected to a separate camera Kai. 

Corresponding to a ceimera request message KAN, which 
will be further described, the cameras Kai and Kai + 1, 
which are requested by the camera request message KAN, are 
selected in the switching unit S. In this way, each of the 
requested camera signals Ki and Ki + 1, from the cameras 
Kai and Kai + 1, are encoded and transmitted. 

Thus in each case only the requested camera signals 
are selected and switched through 3 to the stereoscopic 
encoding unit SC, where they are encoded 4 into the video 
data stream CV and transmitted to the receiver unit EE. 

In the receiver unit EE, the encoded video data stream 
CV is received and decoded 5. Subsequently, the decoded 
video data stream is presented on the stereoscopic screen 
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DIS to the viewer B. 

In 6, the receiver unit EE features at least the 
stereoscopic decoder unit SD, the head- following unit KVE. 
and the stereoscopic screen DIS. 

The stereoscopic decoder unit SD is connected to the 
stereoscopic screen DIS. In the head- following unit KVE, 
the position of the head of the viewer B is determined by 
means of a further camera, with which the head of the 
viewer B is recorded and detected, and the spatial location 
of the head of the viewer B, that is the head position Pj 
of the viewer B. is deteirmined. 

Based on the head position P j , wherein the second 
index J lies in the range between 1 and n - 1, the camera 
signals Ki and Ki + 1 , which are assigned to the head 
position Pj, are selected and requested by the head- 
following unit KVE- 

In the head- following unit KVE, the head position Pj 
of the viewer B is determined 1 and the horizontal 
movements of the viewer B with respect to the screen are 
followed- For this, at least one camera that records the 
head of the viewer B is used. The head- following unit KVE 
may operate, for example, according to the procedure 
described in the patent application with application number 
19516664.7. 

In the procedure described there, the spatial location 
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is determined for a recorded target object, which is 
classified during the procedure described there. This 
procedure is used in the procedure according to the present 
invention so that the head of the viewer B may be detected 
and the movements of the head followed. In this way the 
procedure described in patent application 19516664.7 
determines the spatial location of the head of the viewer B 
of the stereoscopic screen DIS. 

However, only those coordinates that describe 
horizontal movements are used in the procedure according to 
the present invention. Neither of the other spatial 
coordinates are of interest for the procedure according to 
the invention and for this reason are not required. 

In Fig. 2, the procedure in which the two necessary 
camera signals Ki and Ki + 1 cire selected is described. 

First of all, both of the acceptable extreme positions 
for the head position Pj of the viewer B are defined, that 
is to say the head position PI and the head position Pn - 1. 

In the case that a realistic transmission is desired, 
it is advantageous to set up the cameras Kai equidistant 
from each eye, which in this case means that the distance 
between the head position PI and the head position Ph - 1 
would be the same as the distance between the camera Kal 
and the camera Kan - 1. The necessary camera signals can 
then be selected and transmitted, depending on the position 
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of the viewer B. 

If the head of the viewer is located at head position 
PI, in other words on the far left of the configuration 
described in Fig. 1, or even further to the left, both of 
the camera signals Kl and K2 are selected, that is to say 
the camera signals from the two cameras positioned at the 
left Kal and Ka2 . These signals are then requested by the 
head- following unit KVE. 

This set-up also provides for a situation in which 
camera signals Kl and K2 are not selected, but rather there 
could for example be a camera positioned on the far left 
Kal and a further camera, Kal + x, and the camera signals 
produced by these cameras Kl and Kl + x are selected. The 
selection of the cameras is always dependent on the 
configuration of the stereoscopic screen DIS. 

If the head of the viewer B is located at head 
position Pn - 1 or to the right of it, the head-following 
unit KVE assigns the camera signals Kn - 1 and Kn to the 
head position Pn - 1, and requests these camera signals 
from the transmitter unit SE. 

The set-up also provides for a situation in which 
camera signals Kn - 1 and Kn are not selected, but rather 
there could for example be a camera positioned on the far 
left Kal and a further camera. Ka 1 + x, and the camera 
signals produced by these cameras Kn and Kn - x are 
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selected. In this case too, the selection of the cameras 
is always dependent on the configuration of the 
stereoscopic screen DIS, 

If the head of the viewer B is located between the 
discrete head positions PJ , the head position Pj of the 
viewer B that is assigned is the one that is closest to the 
actual head position of the viewer B, 

In general, therefore, the camera signal Ki as a left 
picture and the camera signal Ki + x as a right picture for 
a head position PJ of the viewer are offered through the 
head-following unit KVE. 

It is important to define the n - 1 head positions Pj 
of the viewer B independently from the camera arrangement. 
This is carried out depending on the structure of the 
stereoscopic screen DIS and from the intended effects for 
the viewer B. 

This means that two new camera signals are requested 
by the head-following unit KVE. In order to improve and/or 
exaggerate the stereoscopic effect, that is the impression 
of depth for the viewer B, it is also possible to increase 
the space between the cameras . 

If the stereoscopic effect is supposed to be reduced, 
naturally the space between the cameras can also be reduced. 

After the head position is determined 1 by the head- 
following unit KVE, as previously described, the head- 
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following unit KVE selects 2 the necessary two views, that 
is to say, the necessary camera signals Ki and Ki + x, and 
requests these from the transmitter unit SE . 

This happens in form of a camera request message KAN 
that is transmitted by the receiver unit EE to the 
transmitter unit SE. 

After the transmitter unit SE has received the camera 
request message FAN, the switching unit S switches in such 
a way that both inputs of the switching unit S are 
connected to the requested cameras Kai and Kai + x, so that 
the requested camera signals Ki and Ki + x are switched 
through 3 to the stereoscopic encoding unit SC. 

In the stereoscopic encoding unit SC, the switched 
through camera signals Ki and Ki + x are encoded 4 into an 
encoded video data stream CV to be sent. 

This encoded video data stream CV is then transmitted 
to the receiver unit EE. 

The received encoded video data stream CV is decoded 
in the stereoscopic decoder unit SD 5 within the receiver 
unit EE, and is presented 6 to the viewer B on the 
stereoscopic screen DIS, 

In Fig. 3, an advantageous application of the 
procedure according to the invention is shown. 

One problem in the deployment of a model -based 
encoding procedure MC lies in the way in which an error 
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situation 8 in the encoding procedure MC is handled when it 
occurs. In practice this means when an error occurs in the 
model-based encoding procedure, that is to say, when a 
picture was incorrectly modeled by the model-based encoding 
MC. 

In the scope of this application, under the model - 
based encoding procedure MC, a procedure in which the scene 
SZ, having been recorded by the n cameras, is presented 
through three-dimensional models is to be understood. This 
enables a further reduction iii the picture data of the 
recorded scene SZ , 

In this case, exception handling that enables correct 
transmission of the video data stream for as long as is 
required for a correct model for the pictures of the video 
data stream to be produced, that is to say, calculated is 
necessary. The previously described procedure can be used 
for this exception handling. 

This means that, if it is known that a model was 
created for a bad quality video data stream CV, the model- 
based encoding MC of the video data stream CV, which 
enables a larger compression of the picture data, is 
interrupted, and the procedure according to the invention 
is carried out 10, So the scene is recorded as appropriate 
by the two cameras Kai and Kai + 1, which are selected by 
the head position PJ of the viewer B. 
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If a new model that once more correctly describes the 
picture data were created 9, the model-based encoding MC 
can be carried out again 7 . 

In this way, the procedure according to the invention 
can be used in conjunction with the model-based encoding MC 
of a video data stream as a fallback solution of the model- 
based encoding MC. 

Claims 

1. A configuration for the automatic selection of two 
cameras, which produce two camera signals that together 
form a stereoscopic picture sequence, out of a plurality of 
camera signals (Ki; i = i_n) produced by n cameras (Kai; i 
= l-«n): 

- wherein, in a transmitter unit (SE) , the n cameras 
(Kai), which record several views of a scene, as well 
as one switching unit (S) are available, and are 
arranged in any desired manner; 

- wherein, in the transmitter unit (SE), a stereoscopic 
encoding unit (SC) is provided for encoding an encoded 
video data streeim (CV) to be sent; 

- wherein, in the transmitter unit (SE), the switching 
unit (S) is provided, wherein two outputs of the 
switching unit (S) are connected to the stereoscopic 
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encoding unit (SC), and wherein n inputs of the 
switching unit (S) are connected to the n cameras 
(Kai. . . Kan), which provide two camera signals (Ki; 
Ki + x) that are selected by a head- following unit 
(KVE) of a receiver unit (EE), the one number (x) being 
any number in the range between 1 and n; 

- wherein, in the receiver unit (EE), the head- 
following unit (KVE) is provided to determine the head 
position (Pj; j = 1... n t 1), and to select the two 
camera signals (Ki; Ki + x) which are assigned to the 
head position (PJ); 

- wherein, in the receiver unit (EE), a stereoscopic 
decoder unit (SD) is provided for decoding the received 
encoded video data stream (CV) . and 

- wherein, in the receiver unit (EE), a stereoscopic 
screen (DIS), which is connected to the output of the 
stereoscopic decoder unit (SD), is provided. 

2. The configuration according to claim 1, wherein the 
distance between the n cameras (Kai) is uniform. 

3. A procedure for the automatic selection of two cameras 
(Kai; Kai + x) , which produce two camera signals (Ki; Ki + 
X) , which together form a stereoscopic picture sequence, 
out of a plurality of camera signals (Ki; i = l_n) produced 
by n cameras (Kai; I = l_n) : 

- wherein, in a receiver unit (EE), a head position 
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(PJ; j = n - 1) of a viewer (B) is determined by a head- 
following unit (KVE); 

- wherein, two camera signals (Ki, Ki + 1 ) which are 
produced by two cameras (Kai; Kai + x) that are assigned to 
the head position (Pj) by the head- following unit (KVE) are 
selected, wherein a number (x) is any desired number in the 
range between 1 and n; 

- wherein, the receiver unit (EE) sends a camera 
request message (KAN) to a transmitter unit (SE), by which 
the two necessary camera signals (Ki; Ki + x) are 
requested; 

- wherein, the transmitter unit (SE) receives and 
stores the camera request message (KAN) ; 

- wherein, in the transmitter unit (SE) , the two 
camera signals (Ki; Ki + 1) which are selected by the head- 
following unit (KVE) are switched through to a stereoscopic 
encoding unit (SC) through a switching unit (S); 

- wherein, in the transmitter unit (SE), an encoded 
video data stream (CV) to be sent is encoded in a 
stereoscopic encoding unit (SC) ; 

- wherein, the encoded video data streeim (CV) to be 
sent is transmitted from the transmitter unit (SE) to the 
receiver unit (EE); 

- wherein, the received encoded video data stream (CV) 
is stored in the receiver unit (EE); and 
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- wherein, in the receiver unit (EE), the received 
encoded video data stream (CV) is decoded in a stereoscopic 
decoder unit (SD), 

4. An application of the procedure according to Claim 3, 
wherein, in the execution of a model-based encoding 
procedure (MC) to encode the video data stream (CV), if the 
model-based encoding (MC) drops out, the procedure is 
executed for as long as is required until the model-based 
encoding (MC) can once more be implemented. 



Three pages of drawings attached 
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Fig> 2 

1. KVE determines Pj 

2. Ki, Ki + X selection 

3. S switches through Ki, Ki + x 
4 ♦ Encoding of CV 

5. Decoding of CV 

6. Presentation on DIS 
Time t 

Fig, 3 

7. MC 

8 . Mistake in MC occurs 

9. MC is possible once again 

10 . Switch to invention 
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